PlanBench-XL: Evaluating Long-Horizon Planning of LLM Tool-Use Agents in Large-Scale Tool Ecosystems
PlanBench-XL：大规模工具生态中LLM Agent长期规划评估基准
🧭 Agent 长期规划评估 · 大规模工具检索
University of Illinois Urbana-Champaign
在1665个工具的零售任务基准上，揭示LLM Agent在检索受限与动态阻塞下长期规划能力的严重退化
📌 工作参考价值（4 点）
- 电商Agent常需在大量API/工具中选择与组合，本基准中的迭代式工具检索-调用-发现子目标范式可直接用于设计推荐/搜索Agent的规划流程，尤其需要将工具描述检索与规划解耦，避免一次性暴露全量工具。
- 阻塞机制模拟了真实服务不可用、返回异常或误导性工具，建议在Agent开发中注入工具调用异常处理与自适应模块，如动态替换失败工具、延长尝试路径，并显式标记错误信号以降低恢复难度。
- 实验发现Agent在缺乏明确错误信号时极易崩溃，值得在业务Agent中强制要求工具返回标准化状态码与可读错误信息，并训练模型利用这些信号重规划。
- 该基准的“长期任务→子目标推断→中间证据收集”闭环，为电商场景中多步推荐（如先查用户画像→再查商品库存→组合优惠规则→生成推荐）提供了可测试的评价范式，可参照构建内部鲁棒性测试集。